深度神经网络端对端训练有素，将（嘈杂）图像映射到干净的图像的测量值非常适合各种线性反问题。当前的方法仅在数百或数千张图像上进行训练，而不是在其他领域进行了数百万个示例。在这项工作中，我们研究是否可以通过扩大训练组规模来获得重大的性能提高。我们考虑图像降解，加速磁共振成像以及超分辨率，并在经验上确定重建质量是训练集大小的函数，同时最佳地扩展了网络大小。对于所有三个任务，我们发现最初陡峭的幂律缩放率已经在适度的训练集大小上大大减慢。插值这些缩放定律表明，即使对数百万图像进行培训也不会显着提高性能。为了了解预期的行为，我们分析表征了以早期梯度下降学到的线性估计器的性能。结果正式的直觉是，一旦通过学习信号模型引起的误差，相对于误差地板，更多的训练示例不会提高性能。

近年来，在诸如denoing，压缩感应，介入和超分辨率等反问题中使用深度学习方法的使用取得了重大进展。尽管这种作品主要是由实践算法和实验驱动的，但它也引起了各种有趣的理论问题。在本文中，我们调查了这一作品中一些突出的理论发展，尤其是生成先验，未经训练的神经网络先验和展开算法。除了总结这些主题中的现有结果外，我们还强调了一些持续的挑战和开放问题。

机器学习中的一个重要问题是能够以顺序方式学习任务。如果有标准的一阶方法培训大多数模型忘记了在新任务上培训时忘记了先前学习的任务，这通常被称为灾难性遗忘。一种流行的克服遗忘方法是通过惩罚在以前任务上的模型来规范损失函数。例如，弹性重量整合（EWC）用二次形式正规，涉及基于过去数据的对角线矩阵构建。虽然EWC对于一些设置工作非常好，但即使在另外理想的条件下，如果对角线矩阵是先前任务的Hessian矩阵的近似近似，它也可以证明灾难性遗忘。我们提出了一种简单的方法来克服这一点：正规规范了与过去数据矩阵的草图草图的新任务的培训。这可以通过内存成本可提供克服灾难忘记线性模型和宽神经网络的灾难性忘记。本文的总体目标是在基于正规化的连续学习算法和内存成本下提供有关时的见解。

许多最近的作品表明，过度分辨率隐含地降低了MIN-NORM Interpolator和Max-Maxifiers的方差。这些调查结果表明，RIDGE正则化在高维度下具有消失的益处。我们通过表明，即使在没有噪声的情况下，避免通过脊正则化的插值可以显着提高泛化。我们证明了这种现象，用于线性回归和分类的强大风险，因此提供了强大的过度装备的第一个理论结果。

Iterative detection and decoding (IDD) is known to achieve near-capacity performance in multi-antenna wireless systems. We propose deep-unfolded interleaved detection and decoding (DUIDD), a new paradigm that reduces the complexity of IDD while achieving even lower error rates. DUIDD interleaves the inner stages of the data detector and channel decoder, which expedites convergence and reduces complexity. Furthermore, DUIDD applies deep unfolding to automatically optimize algorithmic hyperparameters, soft-information exchange, message damping, and state forwarding. We demonstrate the efficacy of DUIDD using NVIDIA's Sionna link-level simulator in a 5G-near multi-user MIMO-OFDM wireless system with a novel low-complexity soft-input soft-output data detector, an optimized low-density parity-check decoder, and channel vectors from a commercial ray-tracer. Our results show that DUIDD outperforms classical IDD both in terms of block error rate and computational complexity.

The well-documented presence of texture bias in modern convolutional neural networks has led to a plethora of algorithms that promote an emphasis on shape cues, often to support generalization to new domains. Yet, common datasets, benchmarks and general model selection strategies are missing, and there is no agreed, rigorous evaluation protocol. In this paper, we investigate difficulties and limitations when training networks with reduced texture bias. In particular, we also show that proper evaluation and meaningful comparisons between methods are not trivial. We introduce BiasBed, a testbed for texture- and style-biased training, including multiple datasets and a range of existing algorithms. It comes with an extensive evaluation protocol that includes rigorous hypothesis testing to gauge the significance of the results, despite the considerable training instability of some style bias methods. Our extensive experiments, shed new light on the need for careful, statistically founded evaluation protocols for style bias (and beyond). E.g., we find that some algorithms proposed in the literature do not significantly mitigate the impact of style bias at all. With the release of BiasBed, we hope to foster a common understanding of consistent and meaningful comparisons, and consequently faster progress towards learning methods free of texture bias. Code is available at https://github.com/D1noFuzi/BiasBed

小鼠的自动社会行为分析已成为行为神经科学中越来越流行的研究领域。最近，已使用姿势信息（即关键点或骨骼的位置）来解释小鼠的社会行为。然而，很少在现有方法中研究了小鼠关键点基础的社会互动信息的有效编码和解码。特别是，由于高度变形的身体形状和模棱两可的运动模式，建模小鼠之间复杂的社交互动是一项挑战。为了处理交互建模问题，我们在这里提出了一个跨骨骼相互作用图聚合网络（CS-IGANET），以学习自由相互作用的小鼠的丰富动力学，其中使用了跨骨骼节点级交互模块（CS-NLI）建模多级相互作用（即内部，间和跨骨骼相互作用）。此外，我们设计了一种新颖的互动感知变压器（IAT），以动态学习社交行为的图形表示，并更新节点级表示，并在我们提出的互动意识到的自我注意力下的机制的指导下。最后，为了增强我们的模型的表示能力，提出了辅助自我监督的学习任务来衡量跨骨骼节点之间的相似性。标准CRMI13-SKERTON和我们的PDMB-Skeleton数据集的实验结果表明，我们所提出的模型的表现优于其他几种最先进的方法。

准确地测量纳米颗粒的大小，形态和结构非常重要，因为它们在许多应用中都非常依赖其特性。在本文中，我们提出了一种基于深度学习的方法，用于根据扫描透射电子显微镜图像的少量数据集训练的纳米颗粒测量和分类。我们的方法由两个阶段组成：本地化，即检测纳米颗粒和分类，即其超微结构的分类。对于每个阶段，我们通过分析不同最新神经网络的分析来优化分割和分类。我们展示了如何使用图像处理或使用各种图像产生神经网络的合成图像的产生来改善两个阶段的结果。最后，将算法应用于双金属纳米颗粒，证明了大小分布的自动数据收集，包括复杂超微结构的分类。开发的方法可以轻松地转移到其他材料系统和纳米颗粒结构中。

骨质疏松症是一种常见疾病，可增加骨折风险。髋部骨折，尤其是在老年人中，导致发病率增加，生活质量降低和死亡率增加。骨质疏松症在骨折前是一种沉默的疾病，通常仍未被诊断和治疗。通过双能X射线吸收法（DXA）评估的面骨矿物质密度（ABMD）是骨质疏松诊断的金标准方法，因此也用于未来的骨折预测（Pregnosticic）。但是，所需的特殊设备在任何地方都没有广泛可用，特别是对于发展中国家的患者而言。我们提出了一个深度学习分类模型（形式），该模型可以直接预测计算机断层扫描（CT）数据的普通X光片（X射线）或2D投影图像。我们的方法是完全自动化的，因此非常适合机会性筛查设置，确定了更广泛的人群中的高风险患者而没有额外的筛查。对男性骨质疏松症（MROS）研究的X射线和CT投影进行了训练和评估。使用了3108张X射线（89个事件髋部骨折）或2150 CTS（80个入射髋部骨折），并使用了80/20分。我们显示，表格可以正确预测10年的髋部骨折风险，而验证AUC为81.44 +-3.11％ / 81.04 +-5.54％（平均 +-STD），包括其他信息，例如年龄，BMI，秋季历史和健康背景， X射线和CT队列的5倍交叉验证。我们的方法显着（p <0.01）在X射线队列上分别优于以70.19 +-6.58和74.72 +-7.21为70.19 +-6.58和74.72 +-7.21的\ frax等先前的方法。我们的模型在两个基于髋关节ABMD的预测上都跑赢了。我们有信心形式可以在早期阶段改善骨质疏松症的诊断。

从语言学习者到残疾人，文本可读性评估对不同目标人士有广泛的应用。网络上文本内容生产的快速速度使得如果没有机器学习和自然语言处理技术的好处，就无法测量文本复杂性。尽管各种研究涉及近年来英语文本的可读性评估，但仍有改进其他语言的模型的空间。在本文中，我们提出了一种基于转移学习的德语文本评估文本复杂性评估的新模型。我们的结果表明，该模型比从输入文本中提取的语言特征优于更多经典的解决方案。最佳模型是基于BERT预训练的语言模型，达到了均方根误差（RMSE）为0.483。